Ông là người dân tộc Nùng, sinh tháng 5 năm 1909,[1] tại tổng Lâu Thượng, châu Võ Nhai, tỉnh Lạng Sơn (nay thuộc xã Phú Thượng, huyện Võ Nhai, tỉnh Thái Nguyên). Ngày sinh của ông không rõ.

Xuất thân trong một gia đình thổ hào địa phương, từ nhỏ, ông được gia đình cho ăn học. Sau khi tốt tiểu học ở Thái Nguyên năm 1927, ông từng có thời gian dạy học ở Bắc Hà. Khoảng năm 1931-1932, ông làm nhân viên địa chính và cai quản lính dõng (châu đoàn) cho chính quyền thực dân Pháp tại quê hương ông.